每个 token 都需要专属教师：多教师自适应 on-policy 自蒸馏
🧭 LLM 后训练 · token 级多教师 OPSD ★ 深度解读
TU München · Munich Center for Machine Learning · Kyoto University · ELLIS Institute Finland · Aalto University
提出 token 级自适应 on-policy 自蒸馏，用多教师池+多数投票+KL 为每个 token 选教师，数学推理最高提升+5.9
📌 工作参考价值（4 点）
- 在生成式推荐 / query 生成 / 文案生成的 on-policy self-distillation 中，如果使用高质量参考（如人工标注、规则 template）作为 privileged reference，建议构造多教师池：对参考做 prefix/suffix/random-span 截断、不同保留比例，而不是只用完整参考；再按 token 选择教师，可避免过度尖锐监督。
- 多数投票 + KL 距离是低成本的 token 级选择规则：先看候选教师对当前学生采样 token 的支持方向是否一致，再在一致子集里选 KL 最大的教师；不需要额外模型，可直接嵌入现有训练 pipeline。
- 消融表明，多教师池配随机选择或平均 loss 提升有限，真正收益来自自适应分配；因此如果业务上做多教师蒸馏，不能只做 ensemble，需要设计 token 级选择策略。
- 若在搜索/推荐 Agent 中让 LLM 生成推理或决策轨迹，可借鉴该 work 的 token 级教师干预评估法来快速诊断哪些位置需要更强监督，而不是整段统一加 loss。
多 Token 预测的正确优化法：Soft-MTP
🧭 LLM 预训练 · Multi-Token Prediction
MIT
提出 Soft-MTP，通过一行代码改动移除标准 MTP 训练中的噪声残差梯度，只保留 KL 自蒸馏信号，全面提升性能与推理加速
📌 工作参考价值（3 点）
- 若内部训练 LLM 用于生成式推荐（如商品描述、搜索 query 推荐、对话式导购），MTP 是一个可落地的训练技巧。采用 Soft-MTP 的一行改动可同时提升模型困惑度和下游准确率，且无额外计算开销，适合直接加到现有预训练流程。
- 在需要 speculative decoding 加速在线推理的场景（如实时搜索建议、Agent 规划生成），Soft-MTP 训练出的 MTP head 能提供更准确的 draft tokens，显著提升 decoding 接受率和加速比，降低延迟。
- 该 KL gradient-recovery trick 可复用到其他共享输出头的自蒸馏任务，例如知识蒸馏或辅助损失设计，避免直接计算大词表 KL 导致的内存瓶颈，兼容现有 fused cross-entropy kernels，工程实现简单。
KL-MOPD：面向生成式推荐的多目标在线策略蒸馏
🧭 生成式推荐 · 多目标蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group · Alibaba International Digital Commerce Group
用初始学生与教师 token 级 KL 差异加权，解决生成式推荐多目标蒸馏中的 token 级不平衡，提升联合目标
📌 工作参考价值（4 点）
- 在生成式推荐（Semantic ID 逐 token 解码）中，多目标融合要下沉到 token 级做 on-policy 蒸馏，而不是只做 item 级 loss 或分数融合；否则中间步骤的 token 错误会直接导致正样本检索失败。
- 工程实现上，先用 initial student 和两个 teacher 计算每个 token 的 KL 散度，得到权重 alpha_{j,t} 并预计算一次；训练时直接作为 token 蒸馏 loss 的加权系数，不增加额外前向/反向开销，适合线上大规模部署。
- 若已有 CTR、CVR/GMV 等单目标 teacher，可以直接套用该加权方法：在每个 token 上给离学生更远的 teacher 更高权重，优先补强当前步骤的薄弱目标，缓解解码后期某目标被忽略的问题。
- 电商广告场景验证：十亿级工业数据离线 joint metric +3.19%，线上 A/B 广告收入 +1.63%、GMV +2.20%，说明 token 级多目标蒸馏能带来真实业务收益。
面向 Decoder-only MoE 模型的跨语言路由器对齐方法
🧭 跨语言 MoE 路由器对齐 ★ 深度解读
University of California, Los Angeles · Haverford College · MILA - Quebec AI Institute · McGill University
用 MoE router 输出的均值池化作为序列级跨语言对齐目标，在解码器模型中实现显式对齐并提升多语种表现
📌 工作参考价值（4 点）
- 在跨境电商/搜索的多语言 MoE 模型中，可用平行语料（商品标题、query 翻译对、广告文案对）对中间层 MoE router 的 mean-pooled 分布做 KL 对齐；这比 mean-pooled hidden states 更稳定，且无需 token 级对齐，适合短文本与低资源语言。辅助 loss 梯度只走目标语言，source 侧不更新。
- 工程实现建议采用 packed 共享前向 + 源序列早退：把 source/target 拼在一起做变长 attention，source token 在最后一个对齐层后停止计算，可省去 padded 双重前向；α 初值可设为让 α·L_XLR ≈ L_LM，再邻近搜索。
- 对齐层不要全选，用 cross-lingual routing divergence 曲线选「已经共享专家」的中间层，避免在输入/输出语言特异层强行对齐；对齐后隐藏表征 SoftCKA 会跟随提升，说明 router 分布可当轻量内部监控指标。
- 若只能做参数高效微调，router-only（<0.1% 参数）可作低资源语种适配尝试，但结果 noise 较大，不应替代全参训练；核心收益来自给 routers 提供更好 hidden states。
CADENCE：通过覆盖自适应在策略蒸馏弥合推理差距
🧭 LLM 推理蒸馏 · 在策略蒸馏
用覆盖自适应调度、分叉提升与稠密奖励等六个组件，在单台 Mac 上将 0.5B 学生推理提升 21%+
📌 工作参考价值（4 点）
- DRIFT 与 COVA 的 token 级前向-反向 KL 切换：可迁移到业务小模型蒸馏，避免初期学生概率崩溃；在电商搜索 query 改写或推荐理由生成中，当学生模型输出分布与教师差距大时，可借鉴覆盖自适应的 β 调度，从 reverse-KL 逐步过渡到 forward-KL。
- FTB（分叉 token 提升）：利用高熵 token 位置作为关键“决策点”集中梯度，类似在推荐 Agent 的推理链中，对不确定性高的步骤（如商品属性对比）加强学习信号，提升推理可靠性。
- CCD 稠密奖励与部分正确反馈：将二元对错信号替换为数值相似度部分奖励，适合电商场景中候选商品排序或价格合理性判断等非严格 0/1 任务，可提高训练效率。
- 全在策略、单机可跑：蒸馏全程无需数据中心级别资源，64GB 统一内存的 Mac Studio 即可完成，适合中小团队快速迭代推理模型。
非对称互变分学习实现多模态连续推理
🧭 连续潜变量推理 · 训练-推理校准
Shanghai Jiao Tong University · Ant Group
提出AMVL框架，通过双向KL散度校准缓解训练-推理不匹配，提升连续潜变量推理稳定性
📌 工作参考价值（4 点）
- 电商推荐中，生成式item编码（如Semantic ID）常依赖答案信息（下一item）进行连续潜变量建模，AMVL的双向KL正则可防止后验泄漏未来信息，提升在线推理质量。
- 多模态Agent决策时，若使用连续潜变量规划动作，逆KL惩罚后验可避免利用未来信息，使规划模型更贴近真实推理环境。
- 工程上，双向KL仅增加一个正则项，可简便集成到现有VAE推荐框架，适用于对话式推荐、动态创意生成等交互生成任务。
- 论文对“先验污染”的理论分析以及训练-推理不匹配的量化，为推荐系统中teacher-forcing训练策略的改进提供了新视角。
投机解码中草稿接受准则的理论分析
🧭 LLM 推理加速 · 投机解码理论
Independent Researcher
为贪婪与放松接受下的投机解码提供基于 KL 散度的接受证书，覆盖树形解码
📌 工作参考价值（4 点）
- 若在推荐系统中部署 LLM 进行实时生成（如对话式推荐、解释生成），可借鉴放松接受准则（加性/乘性/top-m 放松）提升 draft 接受率，降低延迟。
- 树形解码允许多候选并行验证，在目标分布较平坦时仍能保持较高接受概率，适合对延迟敏感的场景，可直接工程化。
- 论文给出的基于 KL 散度和 margin 的接受条件，可用于离线评估 draft 模型质量，指导模型选择与阈值设定，平衡质量与速度。
- 对于需要确定性输出（不要求分布完全匹配）的推送文案生成、搜索词改写等任务，可直接应用贪婪+放松的投机解码，无需额外校准。
通过模型内路由的分层验证推测解码加速
🧭 推测解码 · 分层验证 · 模型内路由 ★ 深度解读
Zhejiang University · Agency for Science, Technology and Research (A*STAR) · National University of Singapore
引入从大模型内部路由出的轻量分层验证器，处理中等置信度 token，减少大模型调用，提升推测解码速度 10-20%
📌 工作参考价值（4 点）
- 分层验证思路可迁移到电商推荐多级排序：用轻量模型初筛，中等模型精排，大模型处理疑难 case，降低整体延迟。
- 模型内路由（DIMR）允许从大模型直接裁剪出轻量验证器，无需额外训练或独立模型，利于内存受限的线上部署。
- 利用 KL 投影设计中间验证器置信度阈值，指导业务中质量-效率权衡的参数调节。
- 方法兼容现有 draft-verify 框架，可即插即用增强生成式推荐中 token 序列的生成速度。
提升对话搜索中LLM知识蒸馏的效率与效果
🧭 对话搜索 · LLM知识蒸馏 · 稀疏检索效率优化 ★ 深度解读
University of Amsterdam
通过引入加权对比损失、优化负采样策略和强正则化，在稀疏检索中平衡效果与推理效率
📌 工作参考价值（4 点）
- 蒸馏损失中加入小权重对比项：在电商搜索的 query 重写或对话式推荐场景，若使用 KL 散度蒸馏（如 DiSCo），可混入 5%-20% 的 InfoNCE 损失，不增加推理开销，就能稳定提升 MRR 和 nDCG—直接替换损失函数即可。
- 负采样数量需要谨慎选择：虽然理论上更多负样本能逼近真实 KL 期望，但在做检索相似度蒸馏时，正样本容易被大量负样本“淹没”，造成梯度分散。实验表明 16 个负样本是平衡点（TopiOCQA 上），这一结论可迁移到商品搜索的稀疏蒸馏中，避免盲目增加 batch 内负例。
- 利用 KL 蒸馏的松弛特性做强力稀疏正则化：KL 损失对表示空间的约束比 MSE 更松，因此可以加大 L1 或 FLOPS 正则化强度，将推理 FLOPS 降低 50% 以上，而召回率下跌 <2%。这对有延迟要求的电商搜索尤为实用，可快速压缩稀疏索引模型。
- 长会话中特别注意稀疏退化并提供解决方案：对话轮次增加会导致激活维度急剧膨胀（L0 分数恶化），强力正则化能有效抑制这一趋势，使长对话仍保持高度稀疏，适合部署在客服 Agent 或多轮对话推荐等场景。
信任区域在线策略蒸馏
🧭 在线策略蒸馏稳定化训练 ★ 深度解读
Samsung Research, Beijing, China · University of Oxford · Peking University
通过信任区域划分、异常值前向KL估计和离线指导，解决在线策略蒸馏中分布不匹配导致的训练不稳定问题，显著提升小推理模型性能。
📌 工作参考价值（5 点）
- 面向电商/推荐/Agent 从业者的可借鉴点：
- 信任区域思想可迁移至多智体策略更新：仅在教师与学生策略一致性高的区域执行在线策略蒸馏，避免极端策略梯度导致的训练崩溃，类似推荐系统中用置信度过滤不可靠的在线信号。
- 离线指导（Off-Policy Guidance）机制可借鉴：用教师前缀引导学生生成，并用前向KL模仿学习，适合在推荐对话或Agent任务中利用高质量模板引导小模型探索有效路径。
- 异常值前向KL估计提供了一种廉价的信息保留方式：当教师-学生分布严重不匹配时，用top-k前向KL替代完全丢弃或裁剪，可在电商搜索query改写等场景中保留多样性信号。
- 混合目标设计与资源权衡：TrOPD同时使用K1估计器（O(n)内存）和top-k前向KL（O(nk)内存），为生成式推荐中的长序列推理蒸馏提供了内存可控的参考，尤其在序列推荐或文案生成等需要长输出的场景下。
Draft-OPD：投机草案模型的在线策略蒸馏
🧭 投机解码 · 在线策略蒸馏 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University · The Chinese University of Hong Kong · Peking University
提出 Draft-OPD，通过错误位置重放的在线蒸馏，解决草案模型 SFT 的分布偏移，将接受长度与加速比提升超过 20%。
📌 工作参考价值（4 点）
- 错误驱动的在线训练思路可迁移至生成式推荐：将物品推荐视为逐 token 生成，模仿草案模型接收目标模型验证的过程，对推荐序列中被“拒绝”的错误 token 进行重播与针对性蒸馏，提升生成质量。
- 接受/拒绝的非对称 KL 设计可复用于轻量级打分模型：在排序或召回阶段，用目标模型（如大模型）监督轻量级模型时，对正确预测和错误预测分别使用 forward KL 和 reverse KL，让轻量模型更专注于自身易错模式。
- 利用验证阶段的暴露错误进行针对性训练：在 Agent 多智体协作中，可记录交互过程中被另一智能体“拒绝”的决策点，对这些状态进行重放学习，使策略模型更聚焦于合作失败的关键状态。
- 解耦 rollout 稳定性和策略信号的思想：在强化学习或蒸馏中，当学生无法独立生成高质量轨迹时，可借助教师辅助 rollout 维持稳定性，再通过锚点重放学生自身的错误决策，兼顾训练稳定与策略改进。
InfoSFT：信息感知的令牌加权，学得更多，忘得更少
🧭 Training ★ 深度解读
University of Pennsylvania · University of Southern California
提出基于模型置信度的令牌加权规则，为中等置信度令牌分配最高权重，提升泛化并减轻灾难性遗忘